变压器架构已成为广泛的自然语言处理〜（NLP）模型的基本要素。随着大型NLP模型的趋势，增加的内存和计算成本阻碍了其在资源有限设备上的有效部署。因此，变压器量化吸引了广泛的研究兴趣。最近的工作认识到结构化的离群值是量化性能的关键瓶颈。但是，他们提出的方法增加了开销的计算，仍然将异常值留在那里。为了从根本上解决这个问题，本文深入研究了异常值的固有诱因和重要性。我们发现$ \ boldsymbol \ gamma $ in LaiserNorm（ln）充当异常值的有罪放大器，而异常值的重要性差异很大，其中一些代币提供的一些异常值覆盖了大面积，但可以牢固地夹住一个大面积，但可以将其夹住，而没有负面影响。 。在这些发现的激励下，我们提出了一个异常抑制框架，其中包括两个组成部分：伽玛迁移和象征性的剪辑。伽马迁移将异常放大器迁移到等效转换中的后续模块，从而导致更量化的模型而没有任何额外的负担。令牌的剪辑利用了令牌范围的较大差异，并设计了代币的粗到精细管道，以有效的方式获得了具有最小的最终量化损失的剪辑范围。该框架有效地抑制了异常值，可以在插件模式下使用。广泛的实验证明，我们的框架超过了现有作品，并且首次将6位训练后的BERT量化量化推向完整精确度（FP）级别。我们的代码可在https://github.com/wimh966/outlier_suppression上找到。

入侵检测是汽车通信安全的重要防御措施。准确的框架检测模型有助于车辆避免恶意攻击。攻击方法的不确定性和多样性使此任务具有挑战性。但是，现有作品仅考虑本地功能或多功能的弱特征映射的限制。为了解决这些局限性，我们提出了一个新型的模型，用于通过车载通信流量（STC-IDS）的时空相关特征（STC-IDS）进行汽车入侵检测。具体而言，提出的模型利用编码检测体系结构。在编码器部分中，空间关系和时间关系是同时编码的。为了加强特征之间的关系，基于注意力的卷积网络仍然捕获空间和频道特征以增加接受场，而注意力LSTM则建立了以前的时间序列或关键字节的有意义的关系。然后将编码的信息传递给检测器，以产生有力的时空注意力特征并实现异常分类。特别是，构建了单帧和多帧模型，分别呈现不同的优势。在基于贝叶斯优化的自动超参数选择下，该模型经过培训以达到最佳性能。基于现实世界中车辆攻击数据集的广泛实证研究表明，STC-IDS优于基线方法，并且在保持效率的同时获得了较少的假警报率。

尽管近期长尾对象检测成功，但几乎所有长尾对象探测器都是基于两级范式开发的。在实践中，一阶段探测器在行业中更为普遍，因为它们具有简单而快速的管道，易于部署。然而，在长尾情景中，到目前为止，这项工作尚未探讨。在本文中，我们调查了在这种情况下是否可以良好的单级探测器表现良好。我们发现预防一步检测器实现优异性能的主要障碍是：在长尾数据分布下，类别遭受不同程度的正负不平衡问题。传统的焦点损失与所有类别的调制因子相同的调节因子平衡，因此未能处理长尾问题。为了解决这个问题，我们提出了根据其不平衡程度独立地重新平衡不同类别的正面和负样本的损失贡献的均等的联络损失（EFL）。具体而言，EFL采用类别相关调制因子，可以通过不同类别的培训状态来动态调整。对挑战性的LVIS V1基准进行的广泛实验表明了我们提出的方法的有效性。通过端到端培训管道，EF​​L在整体AP方面实现了29.2％，并对稀有类别进行了显着的性能改进，超越了所有现有的最先进的方法。代码可在https://github.com/modeltc/eod上获得。

模型量化已成为加速深度学习推理的不可或缺的技术。虽然研究人员继续推动量化算法的前沿，但是现有量化工作通常是不可否认的和不可推销的。这是因为研究人员不选择一致的训练管道并忽略硬件部署的要求。在这项工作中，我们提出了模型量化基准（MQBench），首次尝试评估，分析和基准模型量化算法的再现性和部署性。我们为实际部署选择多个不同的平台，包括CPU，GPU，ASIC，DSP，并在统一培训管道下评估广泛的最新量化算法。 MQBENCK就像一个连接算法和硬件的桥梁。我们进行全面的分析，并找到相当大的直观或反向直观的见解。通过对齐训练设置，我们发现现有的算法在传统的学术轨道上具有大致相同的性能。虽然用于硬件可部署量化，但有一个巨大的精度差距，仍然不稳定。令人惊讶的是，没有现有的算法在MQBench中赢得每一项挑战，我们希望这项工作能够激发未来的研究方向。

量化已成为压缩和加速神经网络最普遍的方法之一。最近，无数据量化已被广泛研究作为实用和有前途的解决方案。它根据FP32批量归一化（BN）统计，合成校准量化模型的数据，并显着降低了传统量化方法中实际训练数据的沉重依赖性。不幸的是，我们发现在实践中，BN统计的合成数据在分配水平和样品水平上具有严重均匀化，并且进一步引起量化模型的显着性能下降。我们提出了各种样品生成（DSG）方案，以减轻均质化引起的不利影响。具体而言，我们松弛BN层中的特征统计的对准，以在分配水平处放宽约束，并设计一个层状增强，以加强针对不同的数据样本的特定层。我们的DSG方案是多功能的，甚至能够应用于现代训练后的训练后的量化方法，如亚马逊。我们评估大规模图像分类任务的DSG方案，并始终如一地获得各种网络架构和量化方法的显着改进，特别是当量化到较低位时（例如，在W4A4上的高达22％）。此外，从增强的多样性受益，综合数据校准的模型均接近通过实际数据校准的那些，甚至在W4A4上越优于它们。

多对象跟踪（MOT）是最基本的计算机视觉任务之一，它有助于各种视频分析应用程序。尽管最近取得了有希望的进展，但当前的MOT研究仍仅限于输入流的固定采样帧速率。实际上，我们从经验上发现，当输入帧速率变化时，所有最新最新跟踪器的准确性都会急剧下降。对于更智能的跟踪解决方案，我们将研究工作的注意力转移到了帧速率不可知MOT（FRAMOT）的问题上。在本文中，我们建议使用定期培训计划（FAPS）的帧速率不可知的MOT框架，以首次解决FRAMOT问题。具体而言，我们提出了一个帧速率不可知协会模块（FAAM），该模块（FAAM）渗透并编码帧速率信息，以帮助跨多帧速率输入的身份匹配，从而提高了学习模型在处理FRAMOT中复杂的运动体验关系方面的能力。此外，FRAMOT中训练和推理之间的关联差距扩大，因为训练中未包含的那些后处理步骤在较低的帧速率方案中产生了更大的影响。为了解决这个问题，我们建议定期培训计划（PTS），以通过跟踪模式匹配和融合来反映培训中的所有后处理步骤。除了提出的方法外，我们首次尝试以两种不同的模式（即已知的帧速率和未知帧速率）建立这项新任务的评估方法，旨在处理更复杂的情况。在具有挑战性的MOT数据集（FRAMOT版本）上进行的定量实验清楚地表明，所提出的方法可以更好地处理不同的帧速率，从而改善对复杂情况的鲁棒性。

过去几年的技术创新的巨大浪潮，标志着AI技术的进展，是深刻的重塑行业和社会。然而，在路上，一个关键的挑战等待着我们，即我们满足快速增长的情景的能力的能力受到收购培训数据的成本的严重限制。由于主流学习范式的局限性，这一困难的局面是基于主流学习范式的局限性：我们需要根据大量注释的数据以及通常从头来训练每个新场景的新模型。在解决这一基本问题时，我们超越并开发一个名为实习生的新学习范式。通过在多个阶段的来自多个来源的监控信号学习，培训的模型将产生强大的相互性。我们在26个众所周知的数据集中评估我们的模型，该数据集涵盖计算机视觉中的四类任务。在大多数情况下，我们的模型仅适用于目标域中的培训数据的10％，始终以完整的数据培训的对应物，通常由显着的边距。这是一个重要前景的重要一步，其中具有一般视觉能力的这种模型可以大大降低对数据的依赖，从而加速通过AI技术的采用。此外，围绕我们的新范式旋转，我们还介绍了一个新的数据系统，新的架构和新的基准，以及一起形成一般愿景生态系统，以开放和包容性的方式支持其未来的发展。

深度神经网络易于对自然投入的离前事实制作，小而难以察觉的变化影响。对这些实例的最有效的防御机制是对逆脉训练在训练期间通过迭代最大化的损失来构建对抗性实例。然后训练该模型以最小化这些构建的实施例的损失。此最小最大优化需要更多数据，更大的容量模型和额外的计算资源。它还降低了模型的标准泛化性能。我们可以更有效地实现鲁棒性吗？在这项工作中，我们从知识转移的角度探讨了这个问题。首先，我们理论上展示了在混合增强的帮助下将鲁棒性从对接地训练的教师模型到学生模型的可转换性。其次，我们提出了一种新颖的鲁棒性转移方法，称为基于混合的激活信道图（MixacM）转移。 MixacM通过匹配未在没有昂贵的对抗扰动的匹配生成的激活频道地图将强大的教师转移到学生的鲁棒性。最后，对多个数据集的广泛实验和不同的学习情景显示我们的方法可以转移鲁棒性，同时还改善自然图像的概括。

Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.